Recursive Partitioning | Machine Learning | Pusan National University

분기점과 끝점분기점(internal node)은 구역을 나누는 조건이고, 끝점(terminal node)은 더 나누지 않는 구역과 그 예측값이다.

축에 나란한 경계한 분할은 특성 하나만 보므로 경계선이 그 축에 수직이다.

기준값 후보수치 특성은 서로 다른 관측값 사이의 중간값을 후보로 두고 가중 불순도가 가장 작은 후보를 고른다.

탐욕적 선택미래의 분할 조합을 모두 비교하지 않으므로 전체 최적 나무를 보장하지 않는다.

분할을 되풀이하면 축에 나란한 직사각형 구역이 생긴다

두 특성 x₁, x₂를 가진 학습 관측 40개에 분류 트리를 키운다. 최대 깊이를 옮기면 특성 공간의 구역과 오른쪽 나무 구조가 한 단계씩 함께 자란다.

최대 깊이 1

왼쪽 산점도의 초록 원은 범주 1, 파란 사각형은 범주 0 관측이다. 옅은 초록 구역은 범주 1로, 옅은 파란 구역은 범주 0으로 예측하는 끝점이고 검은 선이 분할 경계, 굵은 초록 선이 이번 깊이에서 새로 생긴 경계다. 오른쪽 나무의 흰 상자는 분기점 조건, 회색 상자는 끝점이며 두 수는 범주 0과 범주 1의 학습 관측 수다. 조건이 참이면 왼쪽으로 내려간다.

한 번 자를 때는 특성 하나와 기준값 하나를 고르고 가중 지니 지수로 비교한다

같은 40개 관측 전체에서 첫 분할 후보를 살핀다. 특성과 기준값 후보를 바꾸면 경계선, 양쪽 구성, 가중 지니 지수, 아래 곡선의 현재 점이 바뀐다.

특성

기준값 후보 번호 1

왼쪽은 후보 경계 하나로 나눈 산점도이고, 오른쪽 곡선은 고른 특성의 기준값 후보마다 계산한 나눈 뒤 가중 지니 지수다. 초록 점이 현재 후보, 점선 원이 가장 작은 후보다. 기준값 후보는 서로 다른 관측값 사이의 중간값이다.

지금 가장 많이 줄이는 분할이 깊이 2의 가장 좋은 나무로 이어지지는 않는다

네 모서리에 두 범주가 엇갈려 놓인 관측 28개에서 첫 분할만 바꾸고, 나뉜 두 구역 안에서는 가장 좋은 분할을 하나씩 더 고른다. 첫 분할에 따라 그 순간의 지니 감소와 깊이 2 나무의 오분류 수가 바뀐다.

첫 분할

초록 원은 범주 1, 파란 사각형은 범주 0이다. 굵은 초록 선이 첫 분할, 검은 선이 두 구역 안에서 이어서 고른 분할이며, 구역 색은 끝점의 예측 범주다. 테두리가 빨간 표시는 예측이 틀린 학습 관측이다. 오른쪽 막대는 세 첫 분할의 오분류 수다.